Sikuli - Script graphique

Sikuli est Logiciel libre Ubuntu / Linux ( mac et windows ) d'automatisation d'action sur interface graphique ( GUI script ): logiciel permettant d'automatiser facilement des actions sur ubuntu.

Il reconnait les éléments graphiques, lui permettant d'interagir avec l'interface (avec opencv).

Voir en vidéo, article Picture-driven computing, les tâches sur ordinateur dirigés par image

• OpenCV 2.0 :

  sudo apt-get install wmctrl libcv4 libhighgui4 libcvaux4

• Java :
  • OpenJDK :

  • Sun Java Runtime Environment 6

    sudo apt-get sun-java6-jre

• des controles un gestionnaire de fenetre compatible EWMH/NetWM ( wmctrl )
• Gnome / kde / xfce …

Installer depuis launchpad.

cd ~
wget http://launchpad.net/sikuli/trunk/0.10.2/+download/Sikuli-IDE-linux-i686-0.10.2.zip
unzip Sikuli-IDE-linux-i686-0.10.2.zip

cd Sikuli-IDE/
$ ./sikuli-ide.sh

En couplant sikuli ( ou un logiciel de gui script ) a de l'intelligence artificielle (opencog) cela permettra de créer un agent personnel qui apprendrait de vos actions sur un ordinateur, pour les reproduire si besoin il y a : ou aider dans n'importe quelle tâche.

• Accessibilité
• gui script
• Peut se marier efficacement avec des outils "lanceur de logiciel" (+ reconnaissance vocale)
• Site officiel : http://groups.csail.mit.edu/uid/sikuli/

• Basé notamment sur Jython (java dans python), et Opencv (site) ¹⁾

Contributeurs : Psychederic, …